Taylor sinh tại Philadelphia, là con của Joseph Hooton Taylor, Sr., và Sylvia Evans Taylor. Ông học ở trường Moorestown Friends School tại Moorestown, New Jersey, và xuất sắc về toán học.[1] Ông đậu bằng cử nhân vật lý ở Haverford College năm 1963, và bằng tiến sĩ thiên văn học ở Đại học Harvard năm 1968.

Sau một thời gian nghiên cứu ngắn ở Đại học Harvard, Taylor sang làm việc ở Đại học Massachusetts, rồi trở thành giáo sư Thiên văn học và Phó giám đốc Five College Radio Astronomy Observatory (Đài thiên văn vô tuyến 5 trường đại học). Bản luận án tiến sĩ của Taylor đề cập tới các đo lường che khuất Mặt trăng. Vào khoảng thời gian mà ông hoàn tất bản luận án tiến sĩ thì Jocelyn Bell phát hiện ra sao sung vô tuyến đầu tiên bằng kính viễn vọng gần Cambridge, Anh.